2018第七个世界第一来了！科大讯飞刷新Cityscapes评测全部两项任务世界纪录

2017年，讯飞研究院院长胡国平曾表示，“今年我们顺便赢了七个世界桂冠”；董事长刘庆峰肯定了这种全身心投入技术研究的态度，并断言：我们还会有更多的世界冠军。

近日，科大讯飞2018年获得的第七个世界第一来了：在国际自动驾驶领域权威评测任务Cityscapes中，科大讯飞团队以明显优势刷新了全部两项子任务的世界纪录。

2018年，在计算机视觉领域，此前讯飞已连续在IDRiD眼底图分析竞赛、ICPR MTWI图文识别挑战赛中斩获桂冠。2018年的第七个世界第一也再次佐证科大讯飞在计算机视觉领域的技术实力。

像素级图像场景分割任务榜单

实例级图像场景分割任务榜单

Cityscapes评测数据集：多维度考量自动驾驶图像语义分割，近百家机构“群雄逐鹿”

Cityscapes评测任务是由奔驰主推，提供在驾驶领域进行效果和性能测试的图像分割数据集。该评测任务关注真实场景下的道路环境理解，用于评估参与测试的算法在城区场景语义理解方面的性能。

相比其他自动驾驶领域的测试数据集，Cityscapes任务难度更高，更加贴近自动驾驶等当下热门需求，近年来的热度也不断攀升。截至目前，评测已经吸引了包括谷歌、英伟达、三星、腾讯和香港中文大学等近百家国内外优秀创新企业和顶尖学术机构的参与。

在Cityscapes任务所应用的数据集中，包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。

Cityscapes评测集有两项任务：像素级（Pixel-level）图像场景分割（以下简称语义分割）与实例级（Instance-level）图像场景分割（以下简称实例分割）。去年10月，科大讯飞曾参与前者并刷新记录；此次科大讯飞同时参与全部两项任务的测评，不仅再次刷新了语义分割任务的世界纪录，同时以较大优势刷新了实例分割任务的世界纪录。

包揽两项第一背后的秘密：框架为基石，创新做堡垒

Cityscapes评测集中，语义分割任务（Pixel-Level Semantic Labeling Task）使用标准的PASCAL VOC IoU（intersection-over-union）得分来评估预测结果与真实场景之间的匹配准确度，要求参赛算法能够对图像中的每一个像素点进行准确的类别预测, 每个像素点的预测结果都会直接影响到最终得分。

实例分割任务（Instance-Level Semantic Labeling Task）则是同时对每个目标进行定位和语义分割，每个目标即为实例，该任务最终以每个实例的分割准确度进行评估。这两个任务的主要区别在于，在对某些类别目标进行像素级的分类基础上，实例分割还需要进行不同实例间的区分，例如需要区分图像中的车辆和行人，还要将车辆中不同的汽车进行区分和标注。

（结果示意图：左-原图，中-语义分割结果图，右-实例分割结果图）

针对Cityscapes数据集“尺寸变化大、相互遮挡多、目标辨识难”的特点，讯飞团队基于图像检测和分割基础算法的多年研究积累，引入了多项创新性技术。在设计语义分割模型方案时，基于Encoder-Decoder框架，融合注意力机制、可变形卷积操作等思想，创新性地增加了一组尺度自适应矫正网络，使得模型能够充分地利用各层级特征和上下文信息来有效地应对场景中类别尺寸的变化，同时通过目标函数的设计对图像各像素点进行加权编码及梯度规整，提升难以辨识的“难例”像素点尤其是各类别边缘相交区域像素点的预测准确度，进一步提升整幅图像场景中每一个像素点的预测准确性。

在实例分割方案的设计上，讯飞团队将级联式检测方案迁移到实例分割任务的定位模块中，并针对驾驶场景下的一些特定的空间位置共生关系（比如：汽车出现在道路上，骑车者出现在自行车或摩托车上）引入一种空间注意力机制，逐步提升模型的定位性能，同时在分割模块的设计上还成功借鉴语义分割模型成熟方案，精细化每个实例对象的分割结果，最终达到更好的实例分割性能。

技术持续登高的动力：应用刚需、驱动产业升级

持续保持业界一流水平，不断拓展核心算法，连续两年刷新Cityscapes评测集记录，科大讯飞在技术上的突破不仅源于对人工智能的深入探索研究，也是多个产业场景深度需求的作用结果。

汽车作为人类重要的交通工具，在近年来大步迈向智能化的浪潮中，自动驾驶和车联网技术已成为业界公认的重要赛道。对于逐步追求智能的汽车来说，是否具备一双能够明察秋毫的“慧眼”，不仅决定了车辆的安全性和可靠性，还将直接影响汽车的智能化程度。

不断优化的算法，为不同工作模式和不同传感器配置的智能化车辆提供了“看得清、认得准”的核心能力：

1

可行驶区域的判断更加精准

意味着车辆在做出驾驶路线决策时有精度更高的依据，可以更好地将图像和激光雷达等感知设备返回的结果进行综合校验判断，从而避免因单一传感器缺陷而产生交通事故的可能性。

2

物体类别和形状判断更加精准

意味着车辆对于当前驾驶环境中其他交通参与者的属性和具体形状有更精确的判断，在面对有些激光雷达难以识别的物体属性和难以区分的物体实例时，车辆可以通过视觉感知这一更加直观且完整的方案来大幅度地降低事故出现的概率。

对科大讯飞而言，在从单纯的智能语音能力提供商积极转型为整车智能化方案提供商的进程中，Cityscapes评测恰好成为了考验科大讯飞在计算机视觉领域算法水平的“试金石”。而通过了检验的领先核心算法技术不仅可以更好地为讯飞保驾护航，还能进一步加速机器视觉能力的产品落地应用。

除了智能汽车领域，与之紧密相关的智慧城市领域中则涉及到道路交通流量统计、安防等多个实际业务场景。此次参与Cityscapes评测任务所带来的核心算法能力的提升和拓展，将持续助力未来产品效能提升，推动音视频智慧交通产品领域迈向一体化。 

凭借在计算机视觉领域积累的核心技术能力，科大讯飞目前已经在教育、医疗、政法等行业赛道深入应用。不论是讯飞翻译机、讯飞阅读APP等产品中图文识别的功能，还是智慧教育中的智能辅助评卷，智慧医疗中面向肺结节检测、眼底图分析的医学影像诊断系统，面向公检法等应用场景的文档图像分析与识别系统，都蕴含着讯飞在计算机视觉领域的孜孜以求。未来，讯飞将全面持续推进核心技术的优化迭代与落地应用，世界第一绝非终点，而是见证更多惊喜与改变的起点。

 附：2018年科大讯飞在核心技术领域取得的成果

2018年1月，机器阅读理解SQuAD阅读理解大赛再次刷新世界纪录，EM得分超过人类平均水平（参赛者包括微软、谷歌、Facebook、IBM、Salesforce、斯坦福大学、卡耐基梅隆大学、清华、北大等国内外企业和科研机构）；

2018年2月，在由国际计算语言学协会（ACL）下属组织主办的第十二届国际语义评测比赛（SemEval2018）中，斩获基于常识的机器阅读理解全球第一；

2018年3月，在由医学影像领域的国际顶级会议The IEEE InternationalSymposium on Biomedical Imaging (ISBI)举办的IDRiD糖网病挑战赛上，取得微动脉瘤分割任务第一名、其余三项任务前三名的佳绩；

2018年6月，在由模式识别领域国际学术顶会ICPR举办的MTWI（Multi-Type Web Images，多样式网络图像）国际识别挑战赛中，荣膺“文字识别”、“文字检测”和“端到端识别”全部三项冠军；

2018年7月，在国际权威英文语音合成比赛中连续13年蝉联世界第一，仍然是语音合成自然度指标全球唯一超过真人说话水平的公司（获得10个测评项目中的9项第一，在最关键的自然度和相似度评测指标上均大幅领先第二名）；

2018年9月，国际权威英文语音识别大赛“CHiME-5”中，科大讯飞包揽全部四个项目的第一名。

文 | 讯飞AI研究院 编 | 桃核